Semi-supervised learning (SSL) has achieved great success in leveraging a large amount of unlabeled data to learn a promising classifier. A popular approach is pseudo-labeling that generates pseudo labels only for those unlabeled data with high-confidence predictions. As for the low-confidence ones, existing methods often simply discard them because these unreliable pseudo labels may mislead the model. Nevertheless, we highlight that these data with low-confidence pseudo labels can be still beneficial to the training process. Specifically, although the class with the highest probability in the prediction is unreliable, we can assume that this sample is very unlikely to belong to the classes with the lowest probabilities. In this way, these data can be also very informative if we can effectively exploit these complementary labels, i.e., the classes that a sample does not belong to. Inspired by this, we propose a novel Contrastive Complementary Labeling (CCL) method that constructs a large number of reliable negative pairs based on the complementary labels and adopts contrastive learning to make use of all the unlabeled data. Extensive experiments demonstrate that CCL significantly improves the performance on top of existing methods. More critically, our CCL is particularly effective under the label-scarce settings. For example, we yield an improvement of 2.43% over FixMatch on CIFAR-10 only with 40 labeled data.
translated by 谷歌翻译
Accurate segmentation of power lines in aerial images is essential to ensure the flight safety of aerial vehicles. Acquiring high-quality ground truth annotations for training a deep learning model is a laborious process. Therefore, developing algorithms that can leverage knowledge from labelled synthetic data to unlabelled real images is highly demanded. This process is studied in Unsupervised domain adaptation (UDA). Recent approaches to self-training have achieved remarkable performance in UDA for semantic segmentation, which trains a model with pseudo labels on the target domain. However, the pseudo labels are noisy due to a discrepancy in the two data distributions. We identify that context dependency is important for bridging this domain gap. Motivated by this, we propose QuadFormer, a novel framework designed for domain adaptive semantic segmentation. The hierarchical quadruple transformer combines cross-attention and self-attention mechanisms to adapt transferable context. Based on cross-attentive and self-attentive feature representations, we introduce a pseudo label correction scheme to online denoise the pseudo labels and reduce the domain gap. Additionally, we present two datasets - ARPLSyn and ARPLReal to further advance research in unsupervised domain adaptive powerline segmentation. Finally, experimental results indicate that our method achieves state-of-the-art performance for the domain adaptive power line segmentation on ARPLSyn$\rightarrow$TTTPLA and ARPLSyn$\rightarrow$ARPLReal.
translated by 谷歌翻译
Random permutation set (RPS), as a recently proposed theory, enables powerful information representation by traversing all possible permutations. However, the repetition of items is not allowed in RPS while it is quite common in real life. To address this issue, we propose repeatable random permutation set ($\rm R^2PS$) which takes the repetition of items into consideration. The right and left junctional sum combination rules are proposed and their properties including consistency, pseudo-Matthew effect and associativity are researched. Based on these properties, a decision support system application is simulated to show the effectiveness of $\rm R^2PS$.
translated by 谷歌翻译
本文介绍了Kings Arena的荣誉,Kings Arena是基于国王荣誉的强化学习(RL)环境,这是世界上最受欢迎的游戏之一。与以前大多数工作中研究的其他环境相比,我们的人对竞争性强化学习提出了新的概括挑战。与对手竞争的一个代理商是一个多代理的问题;它需要概括能力,因为它具有控制和不同的对手竞争的不同目标。我们描述了国王域名荣誉的观察,动作和奖励规范,并提供了一个基于python的开源界面,以与游戏引擎进行通信。我们为纪念国王竞技场的二十个目标英雄提供了各种任务,并为具有可行的计算资源的基于RL的方法提供了初始基线结果。最后,我们展示了国王竞技场的荣誉和对挑战的可能补救措施所面临的概括挑战。所有软件(包括环境级)均可在https://github.com/tencent-ailab/hok_env上公开获得。该文档可在https://aiarena.tencent.com/hok/doc/上获得。
translated by 谷歌翻译
PCL检测任务旨在识别和分类语言,这些语言是光顾或屈服于一般媒体中的脆弱社区。 ,使通用文本分类方法的表现令人失望。针对Semeval-2022任务4中的PCL检测问题,在本文中,我们对团队的解决方案进行了介绍,该解决方案利用了基于段落分类的及时学习的力量。我们将任务重新制定为适当的披肩提示,并使用预先训练的蒙版语言模型来填补披肩插槽。对于这两个子任务,即二进制分类和多标签分类,采用并微调Deberta模型来预测特定于任务的提示的标签单词。在评估数据集中,对于二进制分类,我们的方法达到了0.6406的F1分数;对于多标签分类,我们的方法达到了0.4689的宏F1得分,在排行榜中排名第一。
translated by 谷歌翻译
自我监督学习(SSL)在预处理模型中取得了出色的性能,这些模型可以通过微调进一步用于下游任务。但是,这些自我监督模型可能不会捕获有意义的语义信息,因为在对比度损失中始终将属于同一类的图像视为负对。因此,同一类的图像通常在学习的特征空间中彼此之间相距很远,这不可避免地会阻碍微调过程。为了解决这个问题,我们试图通过增强语义信息来为自我监督模型提供更好的初始化。为此,我们提出了一种对比初始化(COIN)方法,该方法通过在微调之前引入额外的初始化阶段来打破标准的微调管道。广泛的实验表明,借助丰富的语义,我们的硬币显着优于现有方法,而无需引入额外的培训成本,并在多个下游任务上设定了新的最新技术。
translated by 谷歌翻译
深度神经网络通过学习从低分辨率(LR)图像到高分辨率(HR)图像的映射,在图像超分辨率(SR)任务中表现出了显着的性能。但是,SR问题通常是一个不适的问题,现有方法将受到一些局限性。首先,由于可能存在许多不同的HR图像,因此SR的可能映射空间可能非常大,可以将其删除到相同的LR图像中。结果,很难直接从如此大的空间中学习有希望的SR映射。其次,通常不可避免地要开发具有极高计算成本的非常大型模型来产生有希望的SR性能。实际上,可以使用模型压缩技术通过降低模型冗余来获得紧凑的模型。然而,由于非常大的SR映射空间,现有模型压缩方法很难准确识别冗余组件。为了减轻第一个挑战,我们提出了一项双重回归学习计划,以减少可能的SR映射空间。具体而言,除了从LR到HR图像的映射外,我们还学习了一个附加的双回归映射,以估算下采样内核和重建LR图像。通过这种方式,双映射是减少可能映射空间的约束。为了应对第二项挑战,我们提出了一种轻巧的双回归压缩方法,以基于通道修剪来降低图层级别和通道级别的模型冗余。具体而言,我们首先开发了一种通道编号搜索方法,该方法将双重回归损耗最小化以确定每一层的冗余。鉴于搜索的通道编号,我们进一步利用双重回归方式来评估通道的重要性并修剪冗余。广泛的实验显示了我们方法在获得准确有效的SR模型方面的有效性。
translated by 谷歌翻译
作为一个新兴的安全学习范式,在利用跨机构私人数据中,垂直联合学习(VFL)有望通过启用广告商和发布者私人拥有的补充用户属性的联合学习来改善广告模型。但是,将其应用于广告系统有两个关键的挑战:a)标记的重叠样本的有限规模,b)实时跨机构服务的高成本。在本文中,我们提出了一个半监督的拆卸框架VFED-SSD,以减轻这两个限制。我们确定:i)广告系统中有大量未标记的重叠数据,ii)我们可以通过分解联合模型来保持模型性能和推理成本之间的平衡。具体而言,我们开发了一个自制任务匹配的配对检测(MPD),以利用垂直分区的未标记数据并提出拆分知识蒸馏(SplitKD)架构,以避免跨机构服务。对三个工业数据集的实证研究表现出我们方法的有效性,在本地部署模式和联合部署模式下,所有数据集的中位数AUC分别提高了0.86%和2.6%。总体而言,我们的框架为实时展示广告提供了一种有效的联邦增强解决方案,其部署成本和大量绩效提升。
translated by 谷歌翻译
移动网络流量预测是日常网络操作中的关键功能之一。商业移动网络大,异质,复杂,动态。这些内在特征使得移动网络流量预测远离诸如最近的高级算法,例如基于Graph卷积网络的预测方法和各种关注机制,也已经证明是在车辆交通预测中成功的。在本文中,我们将问题作为空间序列预测任务。我们提出了一种新的深度学习网络架构,自适应多接收领域空间 - 时间图卷积网络(AMF-STGCN),以模拟移动基站的交通动态。 AMF-STGCN扩展了GCN(1)在移动网络中联合建模的复杂空间 - 时间依赖性,(2)应用注意机制捕获异构基站的各种接收领域,(3)基于完全连接的额外解码器引入额外的解码器深网络以多阶段预测征服错误传播挑战。来自两个不同域的四个真实数据集的实验一致地显示AMF-STGCN优于最先进的方法。
translated by 谷歌翻译
SMETS提出了具有可转移信念模型(TBM)中的决策层的有力概率转换(PPT),该决策层在没有更多信息的情况下认为,我们必须使用概率质量函数(PMF)做出决策。在本文中,通过在层次假设空间(HHS)中引入因果关系,提出了信仰进化网络(BEN)和全部因果关系。基于BEN,我们从信息融合视图中解释了PPT,并提出了一种称为完全因果关系概率转化(FCPT)的新概率转换(PT)方法,该方法在双标准评估下具有更好的性能。此外,我们启发性地提出了一种基于FCPT的新概率融合方法。与Dempster组合规则(DRC)相比,在融合相同的证据时,提出的方法具有更合理的结果。
translated by 谷歌翻译